OpenAI, la empresa detrás de ChatGPT, publicó un estudio en el que analiza el fenómeno de las llamadas “alucinaciones” en los modelos de lenguaje: respuestas que parecen coherentes, pero que incluyen datos falsos o sesgados. Estas imprecisiones representan un desafío tanto para los usuarios, que pueden confiar en información errónea, como para las compañías que desarrollan inteligencia artificial.
Según la investigación, las alucinaciones tienen su raíz en el preentrenamiento del modelo, cuando la IA aprende a predecir la siguiente palabra en grandes volúmenes de texto. En este proceso, al no contar con etiquetas que distingan lo correcto de lo incorrecto, los modelos pueden generar frases plausibles, aunque no estén respaldadas por datos reales.
“Adivinar” en lugar de decir “no lo sé”
OpenAI también señala que las alucinaciones persisten porque los actuales métodos de evaluación incentivan a los modelos a adivinar. Para ilustrarlo, compara la situación con un examen de opción múltiple: si un estudiante no sabe la respuesta pero arriesga, puede acertar; en cambio, dejar en blanco le garantiza un cero. Del mismo modo, los modelos se califican solo por la precisión de sus aciertos, lo que los motiva a arriesgar antes que reconocer la incertidumbre.
“Cuando los modelos se califican solo por el porcentaje de respuestas correctas, se les anima a adivinar en lugar de decir ‘No lo sé’”, explicaron desde la compañía.
Una propuesta: penalizar las conjeturas
Ante este diagnóstico, la empresa propone modificar los sistemas de evaluación para que no solo midan precisión, sino que también penalicen las conjeturas infundadas. Así, los modelos tendrían más incentivos para abstenerse en casos de duda, reduciendo el riesgo de información falsa.
De todas maneras, OpenAI admite que la perfección es imposible: “Independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables”.
Este hallazgo marca un nuevo paso en el esfuerzo global por hacer de la inteligencia artificial una herramienta más confiable y transparente, aunque aún queda camino por recorrer.